是否可以在深网络中重组非线性激活函数以创建硬件有效的模型?为了解决这个问题,我们提出了一个称为重组激活网络(RANS)的新范式,该范式操纵模型中的非线性数量以提高其硬件意识和效率。首先,我们提出了RAN-STHICER(RAN-E) - 一个新的硬件感知搜索空间和半自动搜索算法 - 用硬件感知的块替换效率低下的块。接下来,我们提出了一种称为RAN-IMPLICIC(RAN-I)的无训练模型缩放方法,从理论上讲,我们在非线性单元的数量方面证明了网络拓扑与其表现性之间的联系。我们证明,我们的网络在不同尺度和几种类型的硬件上实现最新的成像网结果。例如,与有效网络-lite-B0相比,RAN-E在ARM Micro-NPU上每秒(FPS)提高了1.5倍,同时提高了类似的精度。另一方面,ran-i以相似或更好的精度表现出#macs的#macs降低2倍。我们还表明,在基于ARM的数据中心CPU上,RAN-I的FPS比Convnext高40%。最后,与基于Convnext的模型相比,基于RAN-I的对象检测网络在数据中心CPU上获得了类似或更高的映射,并且在数据中心CPU上的fps高达33%。
translated by 谷歌翻译
自治系统对深度神经网络(DNN)的各种对抗攻击非常容易受到影响。由于其速度,易于部署以及在许多DNN上工作的能力,自由培训的模型 - 无症防御最近获得了普及。为此,已经出现了一种新技术,用于减轻对图像分类DNN的攻击,即使用超分辨率的预处理对抗性图像 - 将低质量输入提升为高分辨率图像。这种防御需要在受约束的自治系统上运行图像分类器和超分辨率模型。但是,超级分辨率招收了沉重的计算成本。因此,在本文中,我们调查以下问题:如果我们使用小型超分辨率模型,图像分类器的稳健性会受到痛苦吗?为了回答这一点,我们首先审查最近的工作称为超高效的超分辨率(SESR),其比现有技术更好地实现了类似或更好的图像质量,同时需要2x到330倍,乘法累积(MAC)操作较少。我们证明,尽管是比现有模型小的数量级,但SESR实现了与网络更大的稳健性相同。最后,我们在商业臂ETHOS-U55 Micro-NPU上估计基于超分辨率的防御的端到端性能。我们的研究结果表明,SESR在实现类似的稳健性时比基线实现了近3倍。
translated by 谷歌翻译
Prostate cancer is the most common cancer in men worldwide and the second leading cause of cancer death in the United States. One of the prognostic features in prostate cancer is the Gleason grading of histopathology images. The Gleason grade is assigned based on tumor architecture on Hematoxylin and Eosin (H&E) stained whole slide images (WSI) by the pathologists. This process is time-consuming and has known interobserver variability. In the past few years, deep learning algorithms have been used to analyze histopathology images, delivering promising results for grading prostate cancer. However, most of the algorithms rely on the fully annotated datasets which are expensive to generate. In this work, we proposed a novel weakly-supervised algorithm to classify prostate cancer grades. The proposed algorithm consists of three steps: (1) extracting discriminative areas in a histopathology image by employing the Multiple Instance Learning (MIL) algorithm based on Transformers, (2) representing the image by constructing a graph using the discriminative patches, and (3) classifying the image into its Gleason grades by developing a Graph Convolutional Neural Network (GCN) based on the gated attention mechanism. We evaluated our algorithm using publicly available datasets, including TCGAPRAD, PANDA, and Gleason 2019 challenge datasets. We also cross validated the algorithm on an independent dataset. Results show that the proposed model achieved state-of-the-art performance in the Gleason grading task in terms of accuracy, F1 score, and cohen-kappa. The code is available at https://github.com/NabaviLab/Prostate-Cancer.
translated by 谷歌翻译
We propose a new model-based offline RL framework, called Adversarial Models for Offline Reinforcement Learning (ARMOR), which can robustly learn policies to improve upon an arbitrary baseline policy regardless of data coverage. Based on the concept of relative pessimism, ARMOR is designed to optimize for the worst-case relative performance when facing uncertainty. In theory, we prove that the learned policy of ARMOR never degrades the performance of the baseline policy with any admissible hyperparameter, and can learn to compete with the best policy within data coverage when the hyperparameter is well tuned, and the baseline policy is supported by the data. Such a robust policy improvement property makes ARMOR especially suitable for building real-world learning systems, because in practice ensuring no performance degradation is imperative before considering any benefit learning can bring.
translated by 谷歌翻译
Tuberculosis (TB), an infectious bacterial disease, is a significant cause of death, especially in low-income countries, with an estimated ten million new cases reported globally in $2020$. While TB is treatable, non-adherence to the medication regimen is a significant cause of morbidity and mortality. Thus, proactively identifying patients at risk of dropping off their medication regimen enables corrective measures to mitigate adverse outcomes. Using a proxy measure of extreme non-adherence and a dataset of nearly $700,000$ patients from four states in India, we formulate and solve the machine learning (ML) problem of early prediction of non-adherence based on a custom rank-based metric. We train ML models and evaluate against baselines, achieving a $\sim 100\%$ lift over rule-based baselines and $\sim 214\%$ over a random classifier, taking into account country-wide large-scale future deployment. We deal with various issues in the process, including data quality, high-cardinality categorical data, low target prevalence, distribution shift, variation across cohorts, algorithmic fairness, and the need for robustness and explainability. Our findings indicate that risk stratification of non-adherent patients is a viable, deployable-at-scale ML solution.
translated by 谷歌翻译
深神经网络(DNN)通常被设计为依次级联的可区分块/层,其预测模块仅连接到其最后一层。 DNN可以与沿主链的多个点的预测模块相连,其中推理可以在中间阶段停止而无需通过所有模块。最后一个退出点可能会提供更好的预测错误,但还涉及更多的计算资源和延迟。就预测误差和成本而言,一个“最佳”的出口是可取的。最佳出口点可能取决于任务的潜在分布,并且可能会从一个任务类型变为另一种任务类型。在神经推断期间,实例的基础真理可能无法获得,并且每个出口点的错误率无法估算。因此,人们面临在无监督环境中选择最佳出口的问题。先前的工作在离线监督设置中解决了此问题,假设可以使用足够的标记数据来估计每个出口点的错误率并调整参数以提高准确性。但是,经过预训练的DNN通常被部署在新领域中,可能无法提供大量的地面真相。我们将退出选择的问题建模为无监督的在线学习问题,并使用匪徒理论来识别最佳出口点。具体而言,我们专注于弹性BERT,这是一种预先训练的多EXIT DNN,以证明它“几乎”满足了强大的优势(SD)属性,从而可以在不知道地面真相标签的情况下学习在线设置中的最佳出口。我们开发了名为UEE-UCB的基于上限(UCB)的上限(UCB)算法,该算法可证明在SD属性下实现了子线性后悔。因此,我们的方法提供了一种自适应学习多种exit DNN中特定于域特异性的最佳出口点的方法。我们从IMDB和Yelp数据集上进行了验证算法验证我们的算法。
translated by 谷歌翻译
预计在现实世界中部署的NLU系统将定期更新或对随着时间的推移积累的新培训示例的基础神经网络进行重新更新。在我们的工作中,我们专注于多语言环境,在该环境中,我们希望在该设置中进一步捕获有关上述模型已经接受过培训的NLU任务的新培训数据的多语言模型。我们表明,在某些条件下,天真地更新多语言模型可能会导致语言子集的性能损失,尽管汇总性能指标显示出改进。我们在属于三个任务系列(令牌级,句子级别和SEQ2SEQ)的四个任务上建立了这种现象,并发现基线远非手头设置的理想选择。然后,我们基于最近进步的参数有效填充,以开发新颖的填充管道,使我们能够共同最大程度地减少灾难性的遗忘,同时鼓励积极的跨语言转移,从而改善不同语言的增长,同时减少这种设置中损失的损失。
translated by 谷歌翻译
传入/传出车辆的记录是根本原因分析的关键信息,以打击各种敏感组织中的安全违规事件。 RFID标记会阻碍物流和技术方面的车辆跟踪解决方案的可扩展性。例如,要求标记为RFID的每个传入车辆(部门或私人)是严重的限制,并且与RFID一起检测异常车辆运动的视频分析是不平凡的。我们利用公开可用的计算机视觉算法实现,使用有限状态机形式主义开发可解释的车辆跟踪算法。国家机器将用于状态转换的级联对象检测和光学特征识别(OCR)模型中的输入。我们从系统部署站点中评估了75个285辆车的视频片段中提出的方法。我们观察到检测率受速度和车辆类型的影响最大。当车辆运动仅限于在检查点类似于RFID标记的检查点时,将达到最高的检测率。我们进一步分析了700个对Live DATA的车辆跟踪预测,并确定大多数车辆数量预测误差是由于无法辨认的文本,图像布鲁尔,文本遮挡,文本遮挡和vecab外字母引起的。为了进行系统部署和性能增强,我们希望我们正在进行的系统监控能够提供证据,以在安全检查点上建立更高的车辆通知SOP,并将已部署的计算机视觉模型和状态模型的微调驱动为建立拟议的方法作为RFID标记的有希望的替代方法。
translated by 谷歌翻译
建模是什么使广告有说服力的原因,即引起消费者的所需响应,对于宣传,社会心理学和营销的研究至关重要。尽管其重要性,但计算机视觉中说服力的计算建模仍处于起步阶段,这主要是由于缺乏可以提供与ADS相关的说服力标签的基准数据集。由社会心理学和市场营销中的说服文学的激励,我们引入了广泛的说服策略词汇,并建立了用说服策略注释的第一个AD图像语料库。然后,我们通过多模式学习制定说服策略预测的任务,在该任务中,我们设计了一个多任务注意融合模型,该模型可以利用其他广告理解的任务来预测说服策略。此外,我们对30家财富500家公司的1600个广告活动进行了真实的案例研究,我们使用模型的预测来分析哪些策略与不同的人口统计学(年龄和性别)一起使用。该数据集还提供图像分割掩码,该蒙版在测试拆分上标记了相应的AD图像中的说服力策略。我们公开发布代码和数据集https://midas-research.github.io/persuasion-avertisements/。
translated by 谷歌翻译
基于会话的建议系统在会话中捕获用户的短期兴趣。会话上下文(即,会话中用户在会话中的高级兴趣或意图)在大多数数据集中都没有明确给出,并且隐式推断会话上下文作为项目级属性的汇总是粗略的。在本文中,我们提出了ISCON,该ISCON隐含地将会议上下文化。ISCON首先通过创建会话信息图,学习图嵌入和聚类来为会话生成隐式上下文,以将会话分配给上下文。然后,ISCON训练会话上下文预测器,并使用预测上下文的嵌入来增强下一项目的预测准确性。四个数据集的实验表明,ISCON比最新模型具有优越的下一项目预测准确性。REDDIT数据集中的ISCON的案例研究证实,分配的会话上下文是独特而有意义的。
translated by 谷歌翻译